HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory
HABIT-Bench：评估智能体从长期弱证据中归纳用户习惯
🧭 Agent 记忆评估 · 隐式习惯归纳 ★ 深度解读
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Fudan University
四域基准显示现有 Agent 记忆方法准确率仅约 33%，复杂记忆流程不优于简单检索或历史压缩
📌 工作参考价值（4 点）
- 不要默认复杂记忆 pipeline 更优：在需要跨会话状态重构的长用户轨迹上，BM25/Dense RAG 等简单检索基线与 A-MEM、Mem0、MemOS、Letta 等记忆方法准确率接近，GLM 下 Full Memory 压缩历史甚至达到 41.98%，超过全部记忆方法。业务落地前应先验证 RAG/压缩历史强基线，避免过度设计。
- 区分“证据访问”和“决策正确性”：Oracle Evidence 提供标注证据后准确率仍只有 39.26%–58.25%，而 Oracle Habit State 可达 98%+。意味着即使召回相关行为，模型仍常错误应用习惯。电商/广告中需显式建模行为有效期、例外、边界和用户确认，不能把任意历史点击/对话当长期偏好。
- 记忆构建成本与查询成本高度不对称：A-MEM 构建 54.59 小时、107.80M tokens，查询仅 13.24 分钟、3.39M tokens。工程上要把历史预处理与在线推理分离，按记忆复用频率和更新需求评估 ROI，必要时用增量更新或压缩历史替代全量记忆抽取。
- 可迁移的负样本设计思想：将临时期外、已过期选择、未接受的建议、边界情况作为干扰项，能有效测出模型是否“过度个性化”。推荐系统评估可借鉴四选一 probe，测试模型在 scope、exception、temporal drift 下是否仍正确推荐。